1111. Орлов А.И. Скорость сходимости ядерных оценок плотности в пространствах произвольной природы // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. - Пермь, 2018. - Вып.28. - С. 35-45.  

________СТАТИСТИЧЕСКИЕ МЕТОДЫ ОЦЕНКИ И ПРОВЕРКИ ГИПОТЕЗ___
2018			Пермский государственный университет		          Вып.28

УДК 519.2
Скорость сходимости ядерных оценок плотности 
в пространствах произвольной природы

А.И. Орлов1 

1Московский государственный технический университет им. Н.Э. Баумана, Институт высоких статистических технологий и эконометрики; Московский физико-технический институт; Москва, Россия; prof-orlov@mail.ru; http://orlovs.pp.ru; +7(916)8305117; 123104, Москва, Сытинский пер., д.7/14, кв.14.

Аннотация. Непараметрические оценки плотности распределения вероятностей в пространствах произвольной природы - один из основных инструментов нечисловой статистики. Рассмотрены их частные случаи – ядерные оценки плотности в пространствах произвольной природы Цель настоящей статьи - изучение среднего квадрата ошибки ядерной оценки плотности и - с целью максимизации порядка его убывания - выбор ядерной функции и последовательности показателей размытости. Основные понятия - круговая функция распределения и круговая плотность. Порядок сходимости в общем случае тот же, что и при оценивании плотности числовой случайной величины, но основные условия наложены не на плотность случайной величины, а на круговую плотность.

Ключевые слова: нечисловая статистика, плотность распределения вероятностей, пространства произвольной природы, ядерные оценки плотности, предельные теоремы, скорость сходимости 

1. Введение
	Согласно новой парадигме прикладной математической статистики [1], сердцевиной этой научной области является статистическая теория в пространствах произвольной природы. Эти пространства не предполагаются линейными. Подходы и результаты статистики в пространствах произвольной природы могут применяться могут применяться как при анализе числовых данных, так и нечисловых (бинарных отношений, множеств и др.). Статистическая теория в пространствах произвольной природы и статистические методы анализа конкретных нечисловых данных выделены в 1979 г. как самостоятельная область прикладной математической статистики [2, 3]. Она была названа статистикой объектов нечисловой природы. Позже ее стали называть статистикой нечисловых данных или нечисловой статистикой [4, 5].
	Непараметрические оценки плотности распределения вероятностей в пространствах произвольной природы - один из основных инструментов нечисловой статистики. Систематическое изложение теории таких оценок начато в статьях [6 - 8], непосредственным продолжением которых является настоящая статья. Регулярно используются ссылки на условия и утверждения из статей [6 - 8].
	Введем обозначения. Пусть (Z, A) – измеримое пространство, p и q – сигма-конечные меры на (Z, A), причем p абсолютно непрерывна относительно q, т.е. из q(B) = 0 следует p(B) = 0 для любого множества B из сигма-алгебры A. В этом случае на (Z, A) существует неотрицательная измеримая функция f(x) такая, что 
		(1)
для любого множества C из сигма-алгебры измеримых множеств A. Функция f(x) называется производной Радона - Никодима меры q по мере p, а в случае, когда q - вероятностная мера, также плотностью вероятности q по отношению к мере p [9, с.460].
	Пусть X1, X2 ,…, Xn – независимые одинаково распределенные случайные элементы (величины), распределение которых задается вероятностной мерой q. В статье [6] введено несколько видов непараметрических оценок плотности вероятности q по выборке X1, X2 ,…, Xn. Подробнее изучены линейные оценки. В статье [7] рассмотрены их частные случаи – ядерные оценки плотности в пространствах произвольной природы. В статье [8] асимптотическая теория ядерных оценок плотности развита прежде всего для нужд статистики конкретных видов объектов нечисловой природы, в которой основной интерес представляют конечные пространства Z. Мера p при этом не непрерывная, а дискретная, например, считающая. Таким образом, в рамках единого подхода удается рассмотреть оценки плотностей и оценки вероятностей.
	В предположении непрерывности неизвестной плотности f(x) представляется целесообразным «размазать» каждый атом эмпирической меры, т.е. рассмотреть линейные оценки, введенные в нашей первой работе по нечисловой статистике [3, с.24]:
		(2)
в которых действительнозначные функции gn удовлетворяют некоторым условиям регулярности.
	Пусть d – показатель различия на Z [4] (в наиболее важных частных случаях – метрика на Z). В [10] нами введены ядерные оценки плотности – оценки вида (2) с
		(3)
где K = K(u) – ядро (ядерная функция), hn – последовательность положительных чисел (показателей размытости), b(hn, x) – нормировочный множитель. В [11] линейные оценки (2) с функциями gn из (3) названы нами «обобщенными оценками типа Парзена-Розенблатта», т.к. в частном случае Z = R1, d(x, Xi) = | x - Xi |, b(hn, x) = hn они переходят в известные оценки, введенные Розенблаттом [12] и Парзеном [13]. 
	Цель настоящей статьи - изучение среднего квадрата ошибки ядерной оценки плотности
		(4)
и выбор последовательности hn с целью максимизации порядка убывания  при . Здесь и далее M - символ математического ожидания, D - символ дисперсии.

2. Круговая функция распределения
	Пусть справедливы следующие условия регулярности: 
	R1) плотность f(x) непрерывна в точке x, в которой оцениваем плотность;
	R2) мера p согласована с показателем различия d, т.е. мера шара радиуса t равна t,  
p{y: d(x, y) < t} = t, 		0 < t < t1 = p(Z),		(5)
другими словами, показатель различия является предпочтительным [7],
	R3) ядро K(u) - непрерывная финитная функция, K(u) = 0 при u > E, такая, что 
			(6)
	Введем в рассмотрение шары Lt(x) = {y: d(x, y) < t} радиуса t и аналог функции распределения случайной величины X со значениями в Z с плотностью f(x):
.		(7)
Назовем G(x, t) круговой функцией распределения в точке x. Все нужные в дальнейшем свойства вероятностной модели, как будет показано, выражаются с помощью круговой функции распределения. 
	Из непрерывности плотности в точке x и равенства (5) следует, что круговая функция распределения G(x, t) дифференцируема по t при t = 0 и
.			(8)
	Изучим смещение оценки fn(x). Имеем цепочку равенств
.		(9)
	Пусть справедливо следующее условие.
	R4) В некоторой окрестности точки t = 0 (т.е. при 0 < t < t0 при некотором t0) существует производная по t круговой функцией распределения G(x, t), т.е. .
	Тогда при hnE < t0 имеем
.				(10)
	Основная идея дальнейших рассуждений состоит в том, чтобы для изучения скорости сходимости ядерных оценок применить разложение g(x, t) в ряд по степеням t в окрестности t = 0 (в предположении существования указанного разложения).
	R5) Пусть справедливо разложение
		(11)
(согласно (8) g(x, 0) = f(x)). Подставим это разложение в (10), получим с учетом (6) и непрерывности функции K(u): 
.	(12)

3. Первые оценки скорости сходимости
	Согласно теореме 7 статьи [7] при справедливости рассматриваемых условий
.			(13)
	Если 
,			(14)
то средний квадрат ошибки ядерной оценки плотности (4) согласно (12) и (13) равен
.		(15)
Следовательно, при  оптимальное по порядку скорости сходимости значение hn определяется из условия "уравнивания погрешностей" [2]
.				(16)
Тогда, как легко видеть, средний квадрат ошибки ядерной оценки плотности имеет порядок "n в степени (-2/3)":
				(17)
при некоторой константе C.
	Обоснуем сказанное более подробно. С точностью до бесконечно малых более высокого порядка средний квадрат ошибки ядерной оценки плотности равен
. 		(18)
С целью решения задачи оптимизации

вычислим производную B(h) по h и приравняем ее 0:
.				(19)
Решая уравнение (19) относительно h, получаем, что 
.			(20)
Соотношение (20) уточняет ранее полученное соотношение (17).
	Для частного случая Z = R1, т.е. для оценок Парзена-Розенблатта, соотношения (16) - (17) известны (см. [14, с.315]). 
	Если соотношение (14) не выполнено, т.е. a = 0, то согласно (12) заключаем, что 
.		(21)
Оптимальное по порядку сходимости hn определяется из условия
,				(22)
и при этом 
.			(23)
при некоторой константе C1.
	Соотношения (22) - (23) совпадают с известными результатами для весьма частного случая Z = R1, т.е. для оценок Парзена-Розенблатта (см. [14, с.316]).

4. Примеры
	Из сравнения формул (17) и (23) ясно, что сходимость убыстряется при a = 0, где a определено в (14). Поскольку a - произведение двух сомножителей, то a = 0 тогда и только тогда, когда  или 
.		(24)
Роль сомножителей разная: первый определяется свойствами пространства с мерой, показателя различия (другими словами, меры близости) и плотности распределения случайной величины, а второй - свойствами ядра.
	С целью выявления свойств первого сомножителя рассмотрим два примера.
	Пример 1. Рассмотрим множество действительных чисел Z = R1. Пусть p - мера Лебега, d - расстояние Евклида (показатель различия), F(x) - функция распределения случайной величины X, причем ее плотность f (по мере Лебега, т.е. в обычном смысле) дважды непрерывно дифференцируема. Тогда
,		(25)
а потому
.				(26)
Продифференцируем (26): 
.		 (27)
При t = 0 при всех x 
.						(28)
	Пример 2. Рассмотрим Z = [0, +). Пусть мера p и расстояние d получены из рассмотренных в примере 1 сужением на [0, +). Пусть функция распределения и плотность обладают теми же свойствами, что и в примере 1. Тогда
.		(29)
Следовательно, первый сомножитель в (14), вообще говоря, отличен от 0.
	Можно показать, что для конечномерного пространства Z = Rk, меры Лебега p, евклидова расстояния d и дважды дифференцируемой плотности f  первый сомножитель в (14) обращается в 0, а для мер p, отличных от Лебеговой, вообще говоря, не обращается (при сохранении прочих перечисленных в примерах 1 и 2 условий). 
	Из сказанного следует, что для введенных нами оценок (2) - (3) в случае конечномерного пространства Z = Rk, меры Лебега p, евклидова расстояния d и дважды дифференцируемой плотности f скорость сходимости задается формулой (23), а для классических оценок Парзена-Розенблатта - формулой (17) (см. также [14, с.315-316]), т.е. введенные нами оценки сходятся гораздо быстрее, чем оценки Парзена-Розенблатта.

5. Улучшение скорости сходимости
	Поскольку статистик может сам выбирать ядро, то для повышения скорости сходимости целесообразно принять условие (24). Однако скорость сходимости можно еще более повысить за счет выбора ядра из более узкого класса. 
	При более высокой гладкости круговой плотности g(x, t) можно получить более высокую скорость сходимости среднего квадрата ошибки ядерной оценки плотности , соответствующим образом выбирая ядро K(u). Предположим, что круговая плотность g(x,t) допускает разложение
, 	(30)
причем остаточный член равномерно ограничен на отрезке [0, hnE]. Тогда
,		(31)
где  при .
	Пусть теперь 
. 				(32)
Тогда
		(33)
Следовательно,
	(34)
при соответствующих A и B. Оптимальная по порядку скорость сходимости будет при 
				(35)
(в предположении ). При этом 
.				(36)
	Этот результат - продвинутое обобщение теоремы 4.1 в книге И.А. Ибрагимова и Р.З. Хасьминского [14, с.316], относящейся к оцениванию плотности одномерной случайной величины. Порядок сходимости в общем случае тот же, что и в указанной теореме, но условия наложены не на плотность f(x), а на круговую плотность g(x, t). Это существенно в случае , т.к. в Rk имеются традиционно выделенные мера (Лебега) и расстояние (Евклида).
	С прикладной точки зрения предположение (30) о гладкости круговой плотности представляется достаточно естественным. Напомним, что вплоть до XIX в. математики практически не делали различия между непрерывными, дифференцируемыми и аналитическими функциями. Инженеры не делают такого различия и сейчас. Отсюда методологическое предложение: в прикладных задачах допустимо использовать математические модели с той степенью гладкости рассматриваемых функций, которая позволяет наиболее легко обосновать алгоритмы расчетов, разумеется, если эта степень гладкости не противоречит фактам соответствующей предметной области. Другой пример подобного методологического подхода: шкала любого прибора конечна, поэтому результаты первичных измерений целесообразно моделировать с помощью финитных случайных величин; такие величины имеют все моменты, а это существенно облегчает получение для них предельных теорем. Методологическим вопросам посвящены наши работы [15, 16].
	Из соотношения (36) следует, что для любого  существует ядро K(u) такое, что для соответствующей оценки 
,					(37)
а также 
			(38)
по вероятности. Хотя при любом k множество ядер K(u), удовлетворяющих соотношениям (32), бесконечно, не существует ядра, удовлетворяющего этим соотношениям сразу при всех k.
	Перенос полученных результатов на случай конечных пространств объектов нечисловой природы осуществляется тем же путем, что и в статье [8]. Грубо говоря, необходимо, чтобы 
, 			(39)
где m - параметр дискретности (см. [8]). Поскольку принципиальных трудностей, как ясно из рассуждений статьи [8], в указанном переносе нет, мы его здесь не приводим.

Библиографический список

1. Орлов А.И. О новой парадигме прикладной математической статистики // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2013. – Вып. 25. –С.162-176.
2. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука,1979.- 296 с.
3. Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки. – В сб.: Экспертные оценки / Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979. С.17-33.
4. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. 2009. – 541 с.
5. Орлов А.И. О развитии статистики объектов нечисловой природы // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. № 93. С. 41-50.
6. Орлов А.И. Оценки плотности в пространствах произвольной природы // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2013. – Вып. 25. – С.21-33.
7. Орлов А.И. Ядерные оценки плотности в пространствах произвольной природы // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2015. – Вып. 26. – С. 43-57.
8. Орлов А.И. Ядерные оценки плотности в конечных пространствах // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2016. – Вып. 27. – С. 24-37.
9. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В. Прохоров. – М.: Большая Российская Энциклопедия, 1999. – 910 с.
10. Орлов А.И. Статистика объектов нечисловой природы // Теория вероятностей и ее применения. – 1980. – Т.XXV. – №3. – С.655-656.
11. Орлов А.И. Непараметрические оценки плотности в топологических пространствах // Прикладная статистика. Ученые записки по статистике, т.45. – М.: Наука, 1983. – С. 12-40.
12. Rosenblatt M. Remarks on some nonparametric estimates of a density function // Ann. Math. Statist. – 1956. – V.27. – N 5. – P. 832 – 837.
13. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. – 1962. – V.33. – N 6. – P. 1065-1076.
14. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. – М.: Наука, 1979. – 528 с.
15. Орлов А.И. О развитии методологии статистических методов // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2001. – Вып. 15. – С.118-131.
16. Орлов А.И. О влиянии методологии на последствия принятия решений // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2017. № 125. С. 319 – 345.

The rate of convergence of kernel density estimates in spaces of arbitrary nature

A.I. Orlov1 

1Bauman Moscow State Technical University, Institute of high statistical technologies and econometrics; Moscow Physics-Technical Institute; Moscow, Russia; prof-orlov@mail.ru; http://orlovs.pp.ru; +7(916)8305117; 123104, Moscow, the Sytinsky lane, house 7/14, apartment 14.

Abstract. Nonparametric estimates of the probability distribution density in spaces of arbitrary nature are one of the main tools of non-numerical statistics. Their particular cases are considered - kernel density estimates in spaces of arbitrary nature. The purpose of this article is to study the mean square error of the kernel density estimate and, in order to maximize the order of its decrease, the choice of the kernel function and the sequence of the blur indicators. The basic concepts are the circular distribution function and the circular density. The order of convergence in the general case is the same as in estimating the density of a numerical random variable, but the main conditions are imposed not on the density of a random variable, but on the circular density.

Key words: non-numeric statistics, probability density function, the space of an arbitrary nature, nuclear density estimates, limit theorems, rate of convergence